Il est surtout connu pour avoir joué avec Steely Dan mais il a joué avec d'autres artistes connus depuis 1962.

Rainey a appris la guitare rythmique et a commencé à jouer dans des groupes locaux. Il se tourne alors vers la guitare basse et travaille comme bassiste de studio à New York, enregistrement ou dans des concerts d'artiste comme Quincy Jones, Aretha Franklin et The Supremes.

Il est membre du groupe The King Curtis. Il a participé a la deuxième tournée des Beatles aux États-Unis.

Il s'installe à Los Angeles en 1972 et poursuit sa collaboration avec Quincy Jones au sein du Jones' big band, et sa carrière de musicien de studio.